在传统的视觉问题（VQG）中，大多数图像具有多个概念（例如，对象和类别），可以生成问题，但培训模型以模仿培训数据中给出的任意选择概念。这使得训练困难并且还造成评估问题 - 对于大多数图像而言，存在多个有效问题，但人类参考资料只捕获一个或多个。我们呈现指导视觉问题 - VQG的变体，它根据对问题类型和应该探索的对象的期望来解决基于分类信息的问题生成器。我们提出了两个变体：（i）明确指导的模型，使演员（人机或自动化）能够选择哪些对象和类别来生成问题; （ii）基于离散潜在变量的基于离散潜变量，了解了一个隐式导游的模型，该模型将了解条件的哪些对象和类别。在答案类别增强VQA数据集上评估所提出的模型，我们的定量结果显示了对现有技术的大大改进（超过9bleu-4增加）。人类评估验证指导有助于生成语法相干的问题，并与给定的图像和对象相关。
translated by 谷歌翻译